LSTM

公式详解

遗忘门 (Forget Gate)

• Wf：权重矩阵（Weight Matrix），决定历史信息 ht−1 和当前输入 xt 对遗忘门的影响。
• bf：偏置项（Bias），给计算结果增加一个基础量。
• 拼接向量
  • ht−1：上一时刻的隐藏状态（Hidden State），保存了之前步骤的记忆。
  • xt：当前时刻的输入（比如当前的字或语素）。
• σ：Sigmoid 激活函数，将结果压缩到0~1之间。
  • 作用：0表示“完全遗忘”，1表示“完全保留”。

输入门（Input Gate）

• Wi,Wc：输入门的权重矩阵，分别控制“是否更新”和“候选记忆内容”。
• bi,bc：对应的偏置项。
• tanh⁡：双曲正切函数，将结果压缩到-1~1之间。

细胞状态更新（Cell State）

• ⊙：逐元素相乘（Hadamard Product）。
• cellt−1：上一时刻的细胞状态（长期记忆）。
• cellt^：当前候选记忆（短期记忆）

输出门（Output Gate）

• Wo：输出门的权重矩阵，控制输出哪些信息。
• ot：输出门的开关，决定当前细胞状态有多少传递到隐藏状态。